Nvidia launches software platform to prevent AI agents from misbehaving

Nvidia is rolling out a new software platform that enables AI developers to set safeguards for agents and prevent them from escaping containment. One of the tools released on Monday, OpenShell, uses hardware features on Nvidia's central processor chips to contain agents. Nvidia said it is also working with Arm Holdings and Intel to ensure the system also works on their central processors. Nvidia is launching the tools with dozens of partners, including Anthropic. Justin Boitano, vice president and general manager of enterprise computing at Nvidia, said the tools ‌would have stopped the Hugging Face attack disclosed this summer. "From what we know, this new security platform could have stopped the breach if it was being used in frontier labs for model evaluation early on," Boitano said during a media briefing. "We're advancing this openly, and we want to engage everybody to work with us." Another system called Sentry uses a separate Nvidia chip, in tandem with OpenShell, to cut off a rogue agent if it tries to escape its container on a central processor. The Nvidia tools use mathematical formulas to detect when agents are trying to use workarounds, such as when an agent might "spawn" several "sub-agents" in an attempt to circumvent efforts to block the main agent, said Ali Golshan, senior director of AI software at Nvidia. "This is really agentic behavior that we're talking about, which is fleets of agents and how they operate together," Golshan said during a briefing.

کۆمپانیای ئێنڤیدیا (Nvidia) پلاتفۆرمێکی نوێی نەرمەواڵە دەخاتە کار کە ڕێگە بە گەشەپێدەرانی ژیریی دەستکرد دەدات ڕێکاری ئەمنی بۆ بریکارەکان (AI Agents) دابنێن و ڕێگرییان لێبکەن لە هەڵاتن لە ژینگەی ڕاگرتن و کۆنتڕۆڵکردنیان (Containment). یەکێک لەو ئامرازانەی کە ڕۆژی دووشەممە بڵاوکرایەوە، بە ناوی OpenShell، تایبەتمەندییە ڕەقەکاڵاییەکانی (Hardware features) چیپەکانی پڕۆسێسەری ناوەندیی ئێنڤیدیا بەکاردێنێت بۆ ڕاگرتن و کۆنتڕۆڵکردنی بریکارەکان. ئێنڤیدیا ڕایگەیاند کە کار لەگەڵ کۆمپانیاکانی (Arm Holdings) و (Intel) دەکات بۆ دڵنیاوبوونەوە لەوەی ئەم سیستەمە لەسەر پڕۆسێسەرە ناوەندییەکانی ئەوانیش کاربکات. ئێنڤیدیا ئەم ئامرازانە لەگەڵ دەیان هاوبەشدا بڵاودەکاتەوە، لەوانەش کۆمپانیای ئەنسرۆپیک (Anthropic). جەستن بۆیتانۆ (Justin Boitano)، جێگری سەرۆک و بەڕێوەبەری گشتیی ئەژمارکاریی دامەزراوەیی لە ئێنڤیدیا، ڕایگەیاند کە ئەم ئامرازانە دەیانگەیاند ڕێگری لە هێرشەکەی هەکینگ فەیس (Hugging Face) بکەن کە هاوینی ئەمساڵ ئاشکرا کرا. بۆیتانۆ لە میانی لێدوانێکدا بۆ میدیاکان گوتی: "بەپێی ئەوەی دەیزانین، ئەگەر ئەم پلاتفۆرمە ئەمنییە نوێیە لە قۆناغە سەرەتاییەکاندا لە تاقیگە پێشەنگەکان بۆ هەڵسەنگاندنی مۆدێلەکان بەکاربهێنرایە، دەیتوانی ڕێگری لەو درزە ئەمنییە (Breach) بکات. ئێمە ئەم پرۆسەیە بە شێوەیەکی کراوە دەبەینە پێشەوە و دەمانوێت هەمووان بەشداربن بۆ ئەوەی بەیەکەوە کاربکەین." سیستەمێکی تر کە ناوی Sentryیە، چیپێکی جیاوازی ئێنڤیدیا هاوتەریب لەگەڵ OpenShell بەکاردێنێت بۆ بڕینی پەیوەندی و کارکردنی بریکارێکی سەرکەش (Rogue Agent) ئەگەر هەوڵبدات لە کۆنتڕۆڵ و شوێنی ڕاگرتنی خۆی لەسەر پڕۆسێسەری ناوەندی هەڵبێت. عەلی گوڵشان (Ali Golshan)، بەڕێوەبەری باڵای نەرمەواڵەی ژیریی دەستکرد لە ئێنڤیدیا، ڕایگەیاند کە ئامرازەکانی ئێنڤیدیا هاوکێشەی بیرکارییانە بەکاردێنن بۆ دەستنیشانکردنی ئەو کاتانەی کە بریکارەکان هەوڵی بەکارهێنانی ڕێگەی لاوەکی و خۆدزینەوە دەدەن؛ بۆ نموونە کاتێک بریکارێک هەوڵدەدات چەندین "ژێر-بریکار" (Sub-agents) دروستبکات بۆ تێپەڕاندنی ئەو هەوڵانەی کە بۆ بلۆککردنی بریکارە سەرەکییەکە دەدرێن. گوڵشان لە میانی کۆبوونەوەکەدا گوتی: "ئەمە ڕێک ڕەفتاری بریکارییە (Agentic behavior) کە باس لە کەرتی گەورەی بریکارەکان و چۆنیەتی کارکردنیان بەیەکەوە دەکات.